Estoy tratando de descargar algunos datos de la red espacial (23 GB) mediante el siguiente comando:
aws s3api get-object --bucket spacenet-dataset --key AOI_2_Vegas/AOI_2_Vegas_Train.tar.gz --request-payer requester AOI_2_Vegas_Train.tar.gzMi región predeterminada es us-east-1 y sé que mis claves son correctas porque se está cobrando por cuenta.
Ejecuté esto en mi casa (30 mbps) y se agotó después de unos 12 GB.
Ejecuté esto en mi trabajo (200 mbps) y se agotó después de unos 16 GB.
Aquí está el error:
HTTPSConnectionPool(host='spacenet-dataset.s3.amazonaws.com', port=443): se agotó el tiempo de lectura.
¿Hay alguna manera de reanudar una solicitud de "aws s3api get-object" que se agotó?
Tal vez intentaría trabajar con el comando aws s3 cp . Este comando es de más alto nivel y puede manejar automáticamente la transferencia de varias partes.
Este comando también puede tomar algunas opciones que se pueden agregar. consulte http://docs.aws.amazon.com/cli/latest/topic/s3-config.html
especialmente en su trabajo, puede aumentar max_concurrent_requests y multipart_threshold , por ejemplo, configure de la siguiente manera
$ aws configure set default.s3.max_concurrent_requests 25 $ aws configure set default.s3.multipart_threshold 128MB $ aws configure set default.s3.multipart_chunksize 32MB $ aws configure set default.s3.use_accelerate_endpoint truey ejecute el comando de copia.
Es posible descargar un rango de bytes especificado de un objeto. Esto se puede hacer usando el indicador de rango de la siguiente manera.
aws s3api get-object --bucket spacenet-dataset --key AOI_2_Vegas/AOI_2_Vegas_Train.tar.gz --request-payer requester --range bytes=0-99999 file_1.tar.gz El comando anterior descarga los primeros 100.000 bytes del archivo de 23 GB y lo escribe en file_1.tar.gz .
Una vez que se hayan descargado todos los file_*.tar.gz divididos en rangos de bytes, deberán concatenarse en el orden correcto. Se puede hacer usando el comando *nix cat de la siguiente manera.
cat file_1.tar.gz >> AOI_2_Vegas_Train_all.tar.gz cat file_2.tar.gz >> AOI_2_Vegas_Train_all.tar.gzMira esto para más detalles.